|
課程名稱 |
高效能計算與深度學習
High Performance Computing and Deep Learning |
|
開課學期 |
105-2 |
|
授課對象 |
理學院 應用數學科學研究所 |
|
授課教師 |
王偉仲 |
|
課號 |
MATH5053 |
|
課程識別碼 |
221 U8000 |
|
班次 |
|
|
學分 |
3.0 |
|
全/半年 |
半年 |
|
必/選修 |
選修 |
|
上課時間 |
|
|
上課地點 |
|
|
備註 |
Intensive courses。密集課程。2/21-24 9:10-17:00(午休1H)天數301 3/23-4/27四567天數202
總人數上限：30人 |
|
Ceiba 課程網頁 |
http://ceiba.ntu.edu.tw/1052hpcdl |
|
課程簡介影片 |
|
|
核心能力關聯 |
本課程尚未建立核心能力關連 |
|
課程大綱
|
|
為確保您我的權利,請尊重智慧財產權及不得非法影印
|
|
課程概述 |
========================================================================
請注意：(1) 有選上本課程同學，務必填寫下列問卷 「https://goo.gl/forms/Gsi5AXujUZtTZrcf1 」，以便幫同學申請帳號。
(2) 沒選上但是要參加 2/21-2/24「高效能計算」的同學，也請填寫下列問卷「https://goo.gl/forms/Gsi5AXujUZtTZrcf1 」，我們會以電子郵件通知是否能夠加選。
========================================================================
高效能計算與深度學習，都是當今快速發展的重要課題。透過對大型問題與巨量資料的高速計算與分析能力，不僅可以引領科學與工程的新洞見與新應用，對人類如何發現新知識，更產生了典範轉移的效應。我們希望透過這個課程，讓學生能使用平行計算的觀念來思考問題，進而設計高效能的平行演算法，實作平行程式，並解決實際應用問題。此外，我們也將協助學生對深度學習有基本的認識，然後在電腦上設計與實作深度學習模型，利用巨量資訊訓練模型，並將訓練好的模型，應用在實際問題。 |
|
課程目標 |
學習主題包含兩項主軸：一、在高效能計算的部分，我們將簡介 MPI 與 OpenMP 的平行計算環境，說明如何在此平行環境求解稠密矩陣的特徵值問題，並將有限體積法以及大型線性系統疊代法平行化，求解三維 Poisson 方程。課程中將使用最先進的超級電腦實機操作。二、在深度學習的部分，我們將介紹 CNN, RNN, DNN等類神經網路的原理與數學推導，以及regularization, early stopping, dropout, parameter tuning 等模型訓練技巧。並實作深度學習模型，處理醫學影像、圖畫風格擷取、語音與影像辨識等應用問題。 |
|
課程要求 |
預備知識：微積分，線性代數，計算機程式設計，計算數學導論
上課時間地點：
A. 高效能計算 (英文授課，詳細內容 https://goo.gl/Im6v98)
2017/2/21 (二), 2/22 (三), 2/23 (四), 2/24 (五) 9:10-12:00, 13:10-17:00 @台大天文數學館 301
教室 授課教師：Kengo Nakajima (The University of Tokyo)，Takahiro Katagiri (Nagoya University)
B. 深度學習
2017/3/23, 3/30, 4/6, 4/13, 4/20, 4/27 (四) 12:20-15:10 @台大天文數學館 202教室
授課教師：王偉仲 (台大數學系)、陳素雲 (中研院統計所)、陳定立 (中研院統計所)
C. NCTS-NVIDIA Workshop on GPU for Deep Learning
2017/4/22 (六) 10:00-12:00, 13:00-17:00 @台大天文數學館 202教室
D. 學期計畫發表
2017/6/20 (二) 15:00-18:00 @台大天文數學館 202教室 |
|
預期每週課後學習時數 |
|
|
Office Hours |
另約時間 |
|
指定閱讀 |
[1] 教師自編講義
[2] Neural Networks and Deep Learning by Michael Nielsen (2016), http://neuralnetworksanddeeplearning.com/ |
|
參考書目 |
[1] High Performance Scientific Computing by Randall J. LeVeque (Coursera edition)
[2] Introduction to Parallel Programming: Using CUDA to Harness the Power of GPUs by David Luebke, John Owens, Mike Roberts, Cheng-Han Lee (Udacity edition)
[3] Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville (2016), http://www.deeplearningbook.org/
[4] Keras: Deep Learning library for Theano and TensorFlow, https://keras.io/
|
|
評量方式
(僅供參考) |
|
No. |
項目 |
百分比 |
說明 |
|
1. |
課堂討論、課堂報告與回家作業 |
60% |
|
2. |
學期計畫 |
40% |
|
|
|